Ngô Hi là cháu nội của Tín vương Ngô Lân, danh tướng kháng Kim đầu thời Nam Tống; con trai thứ của thái úy Ngô Đĩnh[2]. Ông chào đời vào năm 1162 dưới triều vua Hiếu Tông nhà Tống.

Ngô Hi ngay từ nhỏ đã có ý không phục chính quyền Nam Tống đương thời. Năm ông lên 10 tuổi, khi được Ngô Đĩnh hỏi về chí hướng sau này, Ngô Hi đã nói ra những lời lẽ có ý bất mãn với triều đình và mong muốn li khai. Ngô Đĩnh thấy vậy giận quá, đá ông vào cái lò lửa gần đó, nên khuôn mặt trở nên đen hơn người thường, vì thế bị gọi là Ngô Ba Tử. Tuy vậy do danh tiếng của gia tộc, Ngô Hi vẫn sớm được bổ dụng vào các chức quan: ban đầu là Hữu thừa phụng lang; năm 1178 đổi thành Vũ Đức lang; trung lang tướng; rồi chuyển thành Vũ Dực lang; tiếp đó là Đoàn luyện sứ Cao châu[2].

Năm 1193, Ngô Đĩnh qua đời. Sau một thời gian chịu tang, Ngô Hi lại được triệu dùng làm Đoàn luyện sứ Hào châu. Mùa đông năm 1195 đời Tống Ninh Tông, làm Kiến Khang phủ đô thống chế, sau đó là Điền tiền tư phó đô chỉ huy sứ. Năm 1198, viên lăng của Hiến Thánh Từ Liệt hoàng hậu hoàn thành; Ngô Hi do có lập công trong việc này, được nhận Thừa tuyên sứ Vũ Ninh quân; gia Điện tiền tư đô chỉ huy sứ. Mùa xuân năm 1200, bái làm tiết độ sứ Chiêu Tín quân[2]. Cuối năm đó, lăng của Quang Tông hoàn thành, được gia phong Thái úy. Đương thời, gia tộc họ Ngô nhiều đời nối nhau nắm quyền ở Tây Thục kể từ những năm Thiệu Hưng, có uy tín rất lớn đối với dân Thục và được quan lại triều đình quan tâm. Nhưng Ngô Hi lúc đó bị giữ lại ở Lâm An; ông có ý trở về Tây Thục nhưng không được triều đình Nam Tống chấp thuận.